Ông người huyện Điều, Quan Châu (观州; nay là huyện Cảnh, địa cấp thị Hành Thủy, Hà Bắc). Ông nội là Lý Nguyên Tắc (李元则), làm đến Thanh Hà thái thú của nhà Tây Ngụy; cha là Lý Chế (李制), làm đến Xa kỵ tướng quân nhà Bắc Chu. Cương từ nhỏ khẳng khái lại có chí lớn, luôn lấy trung nghĩa tự răn mình. Ban đầu Cương có tên Lý Viện (李瑗), tự Tử Ngọc (子玉), sau đó nhân đọc Hậu Hán thư – Trương Cương truyện (ông cụ của Trương Dực), hâm mộ ông ta nên ông liền đổi tên.

Lý Cương được Tề vương Vũ Văn Hiến nhà Bắc Chu cho làm Tham quân; Tuyên đế sắp hại Hiến, đòi liêu thuộc của ông ta bịa ra tội chứng, Cương thề chết không viết. Đến khi Hiến bị hại, xe chở thây ra ngoài, bộ hạ đều tan rã, chỉ có Cương ôm áo quan khóc to, tự mình chôn cất, khóc vái rồi đi.